• Os dados são centrais em qualquer tipo de pesquisa que seja realizada;
• No cenário atual, existe grande facilidade para armazenagem e acesso à qualquer tipo de dado;
• Integração da evidência disponível é essencial, e será cada vez mais importante no mundo em que viveremos;
• Big data: faz referência ao volume massivo de dados que não são manuseados por ferramentas usuais de análise de dados (ver mais na disciplina de Introdução à Linguagem R), e que compõem uma oportunidade sem precedente para o avanço da ciência, teórica e aplicada;
• Maior parte dos estudos ecológicos são difíceis de serem repetidos (escala temporal e espacial, eventos raros, acesso aos locais,…): replicagem e reproducibilidade?

• Você é capaz de reproduzir o achado de um trabalho que foi publicado - da produção do dado à sua análise?

Fonte: Baker & Penny, 2016, Nature, Is there a reprodubility crisis

• Não é tanto um problema do desenho do estudo, mas sim o que você tira dele e como.

Fonte: Baker & Penny, 2016, Nature, Is there a reprodubility crisis

• Integridade Científica (Richard P. Feynman, Cargo Cult Science): tentar fornecer todos os detalhes e informações para ajudar as outras pessoas à julgar o valor da sua contribuição, e não só a informação que o conduziu ao julgamento em uma direção ou outra.
  • Detalhes que podem introduzir dúvida na sua contribuição: evidência contra e a favor da sua hipótese;
    
  • Fatos que podem tornar sua contribuição inválida: outras causas que podem explicar seus resultados, artefatos que podem existir no seu trabalho;
    
  • Qual a evidência sustenta os fatos apresentados pelo seu trabalho: as suas análises estão fazendo direito o que você acha que elas estão fazendo?
  • As implicações do seu trabalho estão enraizadas nos fatos que ele demonstra ou você está tirando coelho da cartola/usando fogos de artifício/fazendo maquiagem?
  • Qual o limite da especulação?
• A ideia é assumir que você está errado, tentar enumerar razões para isso, e buscar invalidar todas elas.

Ainda do Feynman: "The first principle is that you must not fool yourself – and you are the easiest person to fool".

• Falta de clareza: estudos apresentam seu desenho de forma nebulosa;
  
• Machismo estatístico às avessas: Análises estatísticas não são conduzidas de forma convencional;
  
• É só display: sumários estatísticos dos dados não são apresentados, apenas resultados estatísticos;
  
• Apresentação seletiva de resultados: dados são apresentados, mas não seguem o desenho amostral;
  
• Bomba de fumaça: reporta 10ⁿ resultados, que tem pouco haver com a hipótese do trabalho;
  
• Mágico de Oz: conclusões têm pouco haver (ou nada haver) com os resultados apresentados.

• "Só quem passa pelo deserto sabe o valor de uma chuva": fazer uma revisão sistemática ou meta-análise muda a sua perspectiva de apresentação de um trabalho.

• A questão (ou problema) está bem definida?
• Está claro por que a questão ou problema apresentados são importantes?
• Está claro como estas questões ou problemas são abordados nos estudos?
• Existe um número relevante de casos que possam ser usados para responder o ponto levantado?

• Quais os critérios para a seleção e inclusão dos estudos? Eles estão bem definidos?
• Os métodos usados para a seleção e inclusão dos estudos são justificáveis e replicáveis?
• Qual a base de dados utilizada para a busca? Ela é adequada? Quantos hits ela retornou?
• Como você lidou com os artigos selecionados (duplicatas, múltiplos estudos do mesmo experimento,…)?

• PRISMA Statement (Preferred Reporting Items for Systematic Reviews and Meta-Analyses):
  • http://prisma-statement.org/Default.aspx
• Fornece diretrizes para apresentação de revisões sitemáticos e meta-análises de forma transparente.

• Principal contribuição de um cientista - agora e após a sua vida;
  
• Maior parte das revistas na área de ecologia e evolução estão requisitando o arquivamento dos dados utilizados em um trabalho publicado;
  
• Algumas agências de fomento fora do Brasil só aceitam financiar um projeto de pesquisa cajo haja um plano de longo prazo para o arquivamento dos dados;
  
• Existe uma linguagem própria para o arquivamento de dados (ver mais na disciplina de Introdução à Linguagem R);
• O re-uso de dados tem algumas regras a serem seguida:
  • Dá crédito à quem merece o crédito (seja pelo bom ou mau dado gerado);
    
  • Evita que um dado seja 'tomado' sem autorização (todo dado tem um DOI [ou deveria ter]);
    
  • Te permite verificar de forma direta o que aqueles números/conjunto de informações conta.
• Não deveria ser um problema, mas existem alguns limites impostos por Copyright.

• Quando usamos uma citação, estamos parafraseando o que de fato o outro pesquisador disse?
• Estudos diferem em qualidade naquilo que mostram:
  • Em uma meta-análise isto é contemplado;
  • Mas e em uma revisão sistemática?
• Propagação de erros por conta de citações erradas pode acontecer sim:
  • Erro no uso de conceitos;
    
  • Alteração no significado de conceitos ao longo do tempo;
    
  • Resultados mal interpretados;…
• Toda a informação publicada passa a contribuir para uma 'verdade' maior, portanto tenha julgamento muito crítico com:
  • O que você produz;
    
  • O que você lê;
    
  • O que os outros dizem.

1. Baker & Penny, 2016, Nature, Is there a reprodubility crisis

2. Borer et al, 2009, Bull Ecol Soc Am, Some simple guidelines for effective data management

3. Elison, 2010, Ecology, Repeatability and transparency in ecological research

4. Hampton et al, 2013, Front Ecol Evol, Big data and the future of ecology

5. Parker et al, 2016, Ecol Lett, Promoting transparency in evolutionary biology and ecology

6. Zimmerman, 2008, Sci Tech Human Val, New knowledge from old data - the role of standards in the sharing and reuse of ecological data

7. Rothstein et al, 2013, Quality standards for research syntheses, In: Handbook of meta-analysis in ecology and evolution (Capítulo 20)

8. Lortie et al, 2013, Graphical presentation of results, In: Handbook of meta-analysis in ecology and evolution (Capítulo 21)

9. Richard P. Feynman, Cargo Cult Science: http://calteches.library.caltech.edu/51/2/CargoCult.htm